* this script cleans up data on ownership links and adds variables of interest

* load the list of all extracted ownership links
use "all_entities_${filedate}", clear

* fix codes/names for foreign owners
keep if id == 1234567890 | country != 804

* assign a unique identifier to each foreign owner name 
* from JSCReg or SReg
encode name, gen(new_id)
replace id = 999000000000 + 1000000*country + new_id
drop new_id
save foreign_entities_fixed.dta, replace

use "all_entities_${filedate}", clear

* add previously fixed foreign owners from JSCReg
drop if id == 1234567890 | country != 804
append using foreign_entities_fixed.dta

* fix codes/names for individual owners (individual owners may have multiple codes and multiple ways to spell their names)
* standardize and transliterate names for oligarchs
replace name = "RINAT AKHMETOV" if name=="АХМЕТОВ РІНАТ ЛЕОНІДОВИЧ" | name=="АХМЕТОВ РИНАТ ЛЕОНИДОВИЧ" 
replace name = "VIKTOR PINCHUK" if name=="ПИНЧУК ВИКТОР МИХАЙЛОВИЧ" | name=="ПІНЧУК ВІКТОР МИХАЙЛОВИЧ"
replace name = "SERHIY TIHIPKO" if name=="ТIГIПКО СЕРГIЙ ЛЕОНIДОВИЧ" | name=="ТІГІПКО СЕРГІЙ ЛЕОНІДОВИЧ" | name=="ТЕГIБКО СЕРГIЙ ЛЕОНIДОВИЧ" | name=="ТИГИПКО СЕРГЕЙ ЛЕОНИДОВИЧ" | name=="ТЕГІБКО СЕРГІЙ ЛЕОНІДОВИЧ" | name=="ТЕГІПКО СЕРГІЙ МИКОЛАЙОВИЧ"
replace name = "SERHIY TARUTA" if name=="ТАРУТА СЕРГЕЙ АЛЕКСЕЕВИЧ" | name=="ТАРУТА С А" | name=="ТАРУТА СЕРГЕЙ АЛЕКСЕЕВИЧ" | name=="ТАРАТУТА СЕРГЕЙ ОЛЕКСЕЕВИЧ" | name=="ТАРУТА СЕРГЕЙ АЛЕКСЕЕВИЧ" | name=="ТАРУТА СЕРГІЙ ОЛЕКСІЙОВИЧ" | name=="ТАРУТА СЕРГЕЙ АЛЕКСЕЕВИЧ" | name=="ТАРУТА СЕРГІЙ ОЛЕКСАНДРОВИЧ"
replace name = "OLEKSANDR YAROSLAVSKYI" if name=="ЯРОСЛАВСЬКИЙ ОЛЕКСАНДР ВЛАДИЛЕНОВИЧ" | name=="ЯРОСЛАВСЬКИЙ ОЛКСАНДР ВЛАДИЛЕНОВИЧ" | name=="ЯРОСЛАВСЬКИЙ ОЛЕКСАНДР ВОЛОДИМИРОВИЧ"
replace name="PETRO POROSHENKO" if name=="ПОРОШЕНКО ПЕТР АЛЕКСЕЕВИЧ" | name=="ПОРОШЕНКО ПЕТРО ОЛЕКСІЙОВИЧ"
replace name="IHOR KOLOMOYSKYI" if name=="КОЛОМОЙСКИЙ ИГОРЬ ВАЛЕРЬЕВИЧ" | name=="КОЛОМОЙСЬКИЙ ІГОР ВАЛЕРІЙОВИЧ"
replace name="OLEKSIY MARTYNOV" if name=="МАРТЫНОВ АЛЕКСЕЙ ГЕОРГИЕВИЧ" | name=="МАРТИНОВ ОЛЕКСІЙ ГЕОРГІЙОВИЧ" | name=="МАРТИНОВ АЛЕКСЕЙ ГЕОРГИЕВИЧ"
replace name="HRYHORIY SURKIS" if name == "СУРКIС ГРИГОРIЙ РАХМIЛЬОВИЧ" | name=="СУРКІС ГРИГОРІЙ МИХАЙЛОВИЧ" | name=="СУРНИС ГРИГОРIЙ РАХМИЛЕВИЧ"
replace name="IHOR SURKIS" if name=="СУРКIС IГОР РАХМIЛЬОВИЧ" | name=="СУРНИС IГОР РАХМИЛЕВИЧ" | name=="СУРКIС IГОР РАХМIЛЬОВИЧ"
replace name="SERHIY KLYUYEV" if name=="КЛЮЄВ СЕРГIЙ ПЕТРОВИЧ" | name=="КЛЮЕВ СЕРГЕЙ ПЕТРОВИЧ" | name=="КЛЮЄВ СЕРГІЙ ПЕТРОВИЧ"
replace name="OLEKSANDR RYMARUK" if name=="РИМАРУК ОЛЕКСАНДР ІВАНОВИЧ" | name=="РИМАРЧУК ОЛЕКСАНДР IВАНОВИЧ"
replace name="VIKTOR MEDVEDCHUK" if name=="МЕДВЕДЧУК ВIКТОР ВОЛОДИМИРОВИЧ"
replace name="KOSTYANTIN ZHEVAGO" if name=="ЖЕВАГО КОСТЯНТИН ВАЛЕНТИНОВИЧ"
replace name="BOGDAN GUBSKY" if name=="ГУБСЬКИЙ БОГДАН ВОЛОДИМИРОВИЧ"
replace name="VITALIY HAIDUK" if name=="ГАЙДУК ВІТАЛІЙ АНАТОЛІЙОВИЧ"
replace name="OLEH MKRTCHIAN" if name=="МКРТЧАН ОЛЕГ АРТУШЕВИЧ"
replace name="MYKOLA YANKOVSKY" if name=="ЯНКОВСКИЙ НИКОЛАЙ АНДРЕЕВИЧ"
replace name="VOLODYMYR SKUBENKO" if name=="СКУБЕНКО ВЛАДИМИР ПЕТРОВИЧ"
replace name="ARSEN AVAKOV" if name=="АВАКОВ АРСЕН БОРИСОВИЧ"
replace name="OLEKSANDR FELDMAN" if name=="ФЕЛЬДМАН ОЛЕКСАНДР БОРИСОВИЧ"
replace name="YEVHEN CHERVONENKO" if name=="ЧЕРВОНЕНКО ЄВГЕН АЛЬФРЕДОВИЧ"
replace name="ANATOLIY FRANCHUK" if name=="ФРАНЧУК АНАТОЛІЙ ДМИТРОВИЧ"
replace name="OLEKSANDR KAHANOVSKYI" if name=="КАГАНОВСЬКИЙ ОЛЕКСАНДР СЕМЕНОВИЧ"
replace name="VASYL KHMELNYTSKY" if name=="ХМЕЛЬНИЦЬКИЙ ВАСИЛЬ ВАСИЛЬОВИЧ"
replace name="MYKHAYLO TABACHNYK" if name=="ТАБАЧНИК МИХАЙЛО ВОЛОДИМИРОВИЧ"
replace name="OLEKSANDR TRETYAKOV" if name=="ТРЕТЯКОВ ОЛЕКСАНДР ЮРІЙОВИЧ"
replace name="HENNADIY BOHOLYUBOV" if name=="БОГОЛЮБОВ ГЕННАДИЙ БОРИСОВИЧ" | name=="БОГОЛЮБОВ ГЕННАДІЙ БОРИСОВИЧ"
replace name="VALENTYN ZGHURSKYI" if name=="ЗГУРСЬКИЙ ВАЛЕНТИН АРСЕНТІЙОВИЧ" | name=="ЗГУРСЬКИЙ ВАЛЕНТИН АРСЕНТIЙОВИЧ"
replace name="YURIY KARPENKO" if name=="КАРПЕНКО ЮРІЙ МИКОЛАЙОВИЧ" | name=="КАРПЕНКО ЮРIЙ МИКОЛАЙОВИЧ"
replace name="YURIY LYAKH" if name=="ЛЯХ ЮРIЙ IВАНОВИЧ" | name=="ЛЯХ ЮРІЙ ІВАНОВИЧ"
replace name="VALERIY KHOROSHKOVSKYI" if name=="ХОРОШКОВСЬКИЙ ВАЛЕРІЙ ІВАНОВИЧ" | name=="ХОРОШКОВСЬКИЙ ВАЛЕРIЙ IВАНОВИЧ"
replace name="OLEKSANDR LESHCHINSKYI" if name=="ЛЕЩИНСКИЙ АЛЕКСАНДР ОЛЕГОВИЧ" | name=="ЛЕЩIНСЬКИЙ ОЛЕКСАНДР ОЛЕГОВИЧ" | name=="ЛЕЩИНСКИЙ А.О."
replace name="ANDRIY DERKACH" if name=="ДЕРКАЧ АНДРIЙ ЛЕОНIДОВИЧ" | name=="ДЕРКАЧ АНДРІЙ ЛЕОНІДОВИЧ"
replace name="FEDIR SHPYG" if name=="ШПИГ ФЕДІР ІВАНОВИЧ" | name=="ШПИГ ФЕДIР IВАНОВИЧ"
replace name="PETRO YUSHCHENKO" if name=="ЮЩЕНКО ПЕТРО АНДРІЙОВИЧ" | name=="ЮЩЕНКО ПЕТРО АНДРIЙОВИЧ"

* standardize names for selected individuals
replace name="ВАРЕНИК ВIКТОР IВАНОВИЧ" if name=="ВАРЕНИК ВІКТОР ІВАНОВИЧ"

* fix individuals with two different countries
replace country = 643 if name=="СIМIН ЯРАХМАДI"
replace country = 398 if name=="БУБНОВ АРКАДІЙ ВІКТОРОВИЧ"

* assign a single code to each name for individual owners
encode name, gen(new_id)
replace new_id = 111000000000 + 1000000*country + new_id
replace id = new_id if entity == 0
drop new_id

* create the oligarch dummy
sort entity name
gen oligarch = 1 if name=="RINAT AKHMETOV"
replace oligarch = 1 if name=="ARSEN AVAKOV"
replace oligarch = 1 if name=="HENNADIY BOHOLYUBOV"
replace oligarch = 1 if name=="YEVHEN CHERVONENKO"
replace oligarch = 1 if name=="ANDRIY DERKACH"
replace oligarch = 1 if name=="OLEKSANDR FELDMAN"
replace oligarch = 1 if name=="ANATOLIY FRANCHUK"
replace oligarch = 1 if name=="BOGDAN GUBSKY"
replace oligarch = 1 if name=="VITALIY HAIDUK"
replace oligarch = 1 if name=="OLEKSANDR KAHANOVSKYI"
replace oligarch = 1 if name=="YURIY KARPENKO"
replace oligarch = 1 if name=="VASYL KHMELNYTSKY"
replace oligarch = 1 if name=="VALERIY KHOROSHKOVSKYI"
replace oligarch = 1 if name=="SERHIY KLYUYEV"
replace oligarch = 1 if name=="IHOR KOLOMOYSKYI"
replace oligarch = 1 if name=="OLEKSANDR LESHCHINSKYI"
replace oligarch = 1 if name=="YURIY LYAKH"
replace oligarch = 1 if name=="OLEKSIY MARTYNOV"
replace oligarch = 1 if name=="VIKTOR MEDVEDCHUK"
replace oligarch = 1 if name=="OLEH MKRTCHIAN"
replace oligarch = 1 if name=="VIKTOR PINCHUK"
replace oligarch = 1 if name=="PETRO POROSHENKO"
replace oligarch = 1 if name=="OLEKSANDR RYMARUK"
replace oligarch = 1 if name=="FEDIR SHPYG"
replace oligarch = 1 if name=="VOLODYMYR SKUBENKO"
replace oligarch = 1 if name=="HRYHORIY SURKIS"
replace oligarch = 1 if name=="IHOR SURKIS"
replace oligarch = 1 if name=="MYKHAYLO TABACHNYK"
replace oligarch = 1 if name=="SERHIY TARUTA"
replace oligarch = 1 if name=="SERHIY TIHIPKO"
replace oligarch = 1 if name=="OLEKSANDR TRETYAKOV"
replace oligarch = 1 if name=="MYKOLA YANKOVSKY"
replace oligarch = 1 if name=="OLEKSANDR YAROSLAVSKYI"
replace oligarch = 1 if name=="PETRO YUSHCHENKO"
replace oligarch = 1 if name=="VALENTYN ZGHURSKYI"
replace oligarch = 1 if name=="KOSTYANTIN ZHEVAGO"

replace oligarch = 0 if missing(oligarch)

* fix an incorrect entity (type of owner) dummy
replace entity = 1 if name=="ДЖАРВІН ТРЕЙД ЕНД ФИНАНСЕ СОРПОРЕЙШИН"

* fix an incorrect country code
replace country = 92 if strpos(name, "NEWPORT MANAGEMENT LTD") & country==840

* remove entities with no id
drop if missing(id) | id==0

order id name entity country, before(group)

capture confirm variable O_COUNTRY
if !_rc {
	drop O_COUNTRY
	}

capture confirm variable O_URSTAT
if !_rc {
	drop O_URSTAT
	}

save "Ownership Data/all_entities_fin_${filedate}", replace